为了帮助代理在其构建块方面的场景的原因，我们希望提取任何给定场景的组成结构（特别是包括场景的对象的配置和特征）。当需要推断出现在代理的位置/观点的同时需要推断场景结构时，这个问题特别困难，因为两个变量共同引起代理人的观察。我们提出了一个无监督的变分方法来解决这个问题。利用不同场景存在的共享结构，我们的模型学会从RGB视频输入推断出两组潜在表示：一组“对象”潜伏，对应于场景的时间不变，对象级内容，如以及一组“帧”潜伏，对应于全局时变元素，例如视点。这种潜水所的分解允许我们的模型Simone，以单独的方式表示对象属性，其不依赖于视点。此外，它允许我们解解对象动态，并将其轨迹总结为时间抽象的，查看 - 不变，每个对象属性。我们在三个程序生成的视频数据集中展示了这些功能，以及在查看合成和实例分段方面的模型的性能。
translated by 谷歌翻译
提取复杂刺激的潜在来源对于理解世界至关重要。尽管大脑不断解决这种盲源分离（BSS）问题，但其算法仍然未知。先前关于生物学上可行的BSS算法的工作假设观察到的信号是统计独立或不相关的源的线性混合物，从而限制了这些算法的适用性域。为了克服这一局限性，我们提出了新型的生物学上的神经网络，以盲目地分离潜在的依赖/相关来源。与以前的工作不同，我们假设源向量的一般几何形状，而不是统计条件，允许分离潜在的依赖/相关源。具体而言，我们假设源矢量足够散布在其域中，可以用某些多面体描述。然后，我们考虑通过det-Max标准恢复这些源，这使输出相关矩阵的决定因素最大化，以实施类似的传播源估计值。从这个规范性原理开始，并使用加权相似性匹配方法，该方法可以通过本地学习规则适应任意线性转换，我们得出了两层覆盖生物学上可见的神经网络算法，这些神经网络算法可以将混合物分离为来自各种源域的来源。我们证明，我们的算法在相关的源分离问题上优于其他生物学上的BSS算法。
translated by 谷歌翻译
3D Flash LiDAR是传统扫描激光雷达系统的替代方法，有望在紧凑的外形尺寸中进行精确的深度成像，并且没有运动部件，例如自动驾驶汽车，机器人技术和增强现实（AR）等应用。通常在图像传感器格式中使用单光子，直接飞行时间（DTOF）接收器实施，设备的操作可能会受到需要在室外场景中处理和压缩的大量光子事件的阻碍以及对较大数组的可扩展性。我们在这里提出了一个64x32像素（256x128 spad）DTOF成像器，该成像器通过将像素与嵌入式直方图使用像素一起克服这些局限性，该直方直方图锁定并跟踪返回信号。这大大降低了输出数据帧的大小，可在10 kfps范围内或100 kfps的最大帧速率进行直接深度读数。该传感器可选择性地读数检测表面或传感运动的像素，从而减少功耗和片外处理要求。我们演示了传感器在中端激光雷达中的应用。
translated by 谷歌翻译
2022-09-16
自我监督的学习允许AI系统使用不需要昂贵的标签的任务从大量数据中学习有效表示。模式崩溃，即为所有输入产生相同表示形式的模型，是许多自我监督学习方法的核心问题，可以使自我监督任务（例如匹配输入的变形变体）无效。在本文中，我们认为，同一输入的替代潜在表示之间信息最大化的直接应用自然解决了崩溃问题并实现了竞争性的经验结果。我们提出了一种自我监督的学习方法Corinfomax，该方法使用了基于二阶统计的共同信息度量，以反映其参数之间的相关性水平。在同一输入的替代表示之间最大化此相关信息度量有两个目的：（1）它通过生成具有非脱位协方差的特征向量来避免崩溃问题； （2）通过增加它们之间的线性依赖性，它在替代表示之间建立了相关性。提出的信息最大化客观的近似简化为基于欧几里得距离的目标函数，该目标函数由特征协方差矩阵的对数确定因素正规化。正则术语是针对特征空间退化的自然障碍。因此，除了避免完全输出崩溃到一个点外，提出的方法还通过鼓励信息在整个特征空间中的传播来防止尺寸崩溃。数值实验表明，相对于最先进的SSL方法，Corinfomax取得更好或竞争性的性能结果。
translated by 谷歌翻译
分布式深度学习框架（例如分裂学习）在培训深神经网络的计算成本以及一组数据持有人的集体数据的隐私性利用方面为巨大的好处。特别是，通过将神经网络分配在客户端和服务器之间，以便客户端计算初始图层集，并且服务器计算其余的。但是，此方法引入了试图窃取客户端数据的恶意服务器的唯一攻击向量：该服务器可以将客户端模型引导到学习其选择的任何任务，例如倾向于输出易于可逆值。有了一个已经提出的具体示例（Pasquini等，CCS '21），这种训练式攻击攻击构成了分裂学习客户的数据隐私的重大风险。在本文中，我们提出了SplitGuard，该方法可以通过这种方法来检测该方法是否是通过训练式攻击攻击的目标。我们通过实验评估方法的有效性，将其与潜在的替代方案进行比较，并详细讨论与其使用相关的各个点。我们得出的结论是，Splitguard可以有效地检测训练式攻击，同时最大程度地减少对手回收的信息量。
translated by 谷歌翻译
培训深度神经网络通常会迫使用户在分布式或外包环境中工作，并伴随着隐私问题。 Split学习旨在通过在客户端和服务器之间分配模型来解决这一问题。该方案据说提供了隐私，因为服务器无法看到客户端的模型和输入。我们表明，通过两次新颖的攻击，这是不正确的。 （1）我们表明，只有掌握客户端神经网络体系结构知识的诚实但充满感染的分裂学习服务器可以恢复输入样本并获得与客户端模型的功能相似的模型，而无需检测到。 （2）我们证明，如果客户端仅隐藏模型的输出层以“保护”专用标签，则诚实但有趣的服务器可以完全准确地推断出标签。我们使用各种基准数据集测试我们的攻击，并反对提议的隐私增强扩展以分裂学习。我们的结果表明，明文分裂学习可能会带来严重的风险，从数据（输入）隐私到知识产权（模型参数），并且不仅仅提供虚假的安全感。
translated by 谷歌翻译